当整个 AI 视觉生成领域都在 Transformer 架构上「卷生卷死」时，一项来自北大、北邮和华为的最新研究却反其道而行之，重新审视了深度学习中最基础、最经典的模块——3x3 卷积。
「停止研究 RL 吧，研究者更应该将精力投入到产品开发中，真正推动人工智能大规模发展的关键技术是互联网，而不是像 Transformer 这样的模型架构。」
「Tokenization（分词）是 Transformer 模型为弥补自身缺陷不得不戴上的枷锁。」
Meta挖走OpenAI大批员工后，又用OpenAI的技术搞出新突破。新架构名为2-Simplicial Transformer，重点是通过修改标准注意力，让Transformer能更高效地利用训练数据，以突破当前大模型发展的数据瓶颈。
2017 年，一篇《Attention Is All You Need》论文成为 AI 发展的一个重要分水岭，其中提出的 Transformer 依然是现今主流语言模型的基础范式。尤其是在基于 Transformer 的语言模型的 Scaling Law 得到实验验证后，AI 领域的发展更是进入了快车道。
自从 Transformer 问世，NLP 领域发生了颠覆性变化。大语言模型极大提升了文本理解与生成能力，成为现代 AI 系统的基础。而今，AI 正不断向前，具备自主决策和复杂交互能力的新一代 AI Agent 也正加速崛起。
在 AI 时代的浪潮下，顶尖人才影响力空前高涨，其地位更被市场推升至了前所未有的高度。无论是谷歌 Transformer 论文八子，还是从 OpenAI 出走的科学家，他们要么自立门户，拿到亿级投资、百亿级估值，或者跳槽到他处，凭己之力拉近企业间的技术代差甚至影响竞争格局。
在高质量视频生成任务中，扩散模型（Diffusion Models）已经成为主流。然而，随着视频长度和分辨率的提升，Diffusion Transformer（DiT）模型中的注意力机制计算量急剧增加，成为推理效率的最大瓶颈。
但在当今的深度 Transformer LLMs 中仍有其局限性，限制了信息在跨层间的高效传递。 彩云科技与北京邮电大学近期联合提出了一个简单有效的残差连接替代：多路动态稠密连接（MUltiway Dynamic Dense (MUDD) connection），大幅度提高了 Transformer 跨层信息传递的效率。
近年来，diffusion Transformers已经成为了现代视觉生成模型的主干网络。随着数据量和任务复杂度的进一步增加，diffusion Transformers的规模也在快速增长。然而在模型进一步扩大的过程中，如何调得较好的超参（如学习率）已经成为了一个巨大的问题，阻碍了大规模diffusion Transformers释放其全部的潜能。
